導(dǎo)讀:一、Apache①、通過(guò)修改 .htaccess 文件修改網(wǎng)站目錄下的.htaccess,添加如下代碼即可(2 種代碼任選):可用代碼 (1):RewriteEngineOnRewriteCond%{HTTp_USER_AGENT}(^$|FeedDemo
發(fā)表日期:2019-05-12
文章編輯:興田科技
瀏覽次數(shù):13787
標(biāo)簽:
一、Apache
①、通過(guò)修改 .htaccess 文件
修改網(wǎng)站目錄下的.htaccess,添加如下代碼即可(2 種代碼任選):
可用代碼 (1):
RewriteEngineOnRewriteCond%{HTTp_USER_AGENT}(^$|FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedparser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|python–urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)[NC]RewriteRule^(.*)$–[F]
可用代碼 (2):
SetEnvIfNoCase^User–Agent$.*(FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedparser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|python–urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)BADBOTOrderAllow,DenyAllowfromallDenyfromenv=BADBOT
②、通過(guò)修改 httpd.conf 配置文件
找到如下類似位置,根據(jù)以下代碼 新增 / 修改,然后重啟 Apache 即可:
Shell
DocumentRoot/home/wwwroot/xxx<Directory“/home/wwwroot/xxx”>SetEnvIfNoCaseUser–Agent“.*(FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedparser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|python-urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)”BADBOTOrderallow,denyAllowfromalldenyfromenv=BADBOT</Directory>
二、Nginx 代碼
進(jìn)入到 nginx 安裝目錄下的 conf 目錄,將如下代碼保存為 agent_deny.conf
cd/usr/local/nginx/confvimagent_deny.conf
#禁止Scrapy等工具的抓取if($http_user_agent~*(Scrapy|Curl|HttpClient)){return403;}#禁止指定UA及UA為空的訪問(wèn)if($http_user_agent~*“FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedparser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|python-urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$”){return403;}#禁止非GET|HEAD|pOST方式的抓取if($request_method!~^(GET|HEAD|pOST)$){return403;}
然后,在網(wǎng)站相關(guān)配置中的 location / { 之后插入如下代碼:
Shell
includeagent_deny.conf;
如下的配置:
Shell
[marsge@Mars_Server~]$cat/usr/local/nginx/conf/zhangge.conflocation/{try_files$uri$uri//index.php?$args;#這個(gè)位置新增1行:includeagent_deny.conf;rewrite^/sitemap_360_sp.txt$/sitemap_360_sp.phplast;rewrite^/sitemap_baidu_sp.xml$/sitemap_baidu_sp.phplast;rewrite^/sitemap_m.xml$/sitemap_m.phplast;
保存后,執(zhí)行如下命令,平滑重啟 nginx 即可:
Shell
/usr/local/nginx/sbin/nginx–sreload
三、pHp 代碼
將如下方法放到貼到網(wǎng)站入口文件 index.php 中的第一個(gè)
pHp
//獲取UA信息$ua=$_SERVER[‘HTTp_USER_AGENT’];//將惡意USER_AGENT存入數(shù)組$now_ua=array(‘FeedDemon‘,‘BOT/0.1(BOTforJCE)’,‘CrawlDaddy‘,‘Java’,‘Feedly’,‘UniversalFeedparser’,‘ApacheBench’,‘Swiftbot’,‘ZmEu’,‘IndyLibrary’,‘oBot’,‘jaunty’,‘YandexBot’,‘AhrefsBot’,‘MJ12bot’,‘WinHttp’,‘EasouSpider’,‘HttpClient’,‘MicrosoftURLControl’,‘YYSpider’,‘jaunty’,‘python-urllib’,‘lightDeckReportsBot’);//禁止空USER_AGENT,dedecms等主流采集程序都是空USER_AGENT,部分sql注入工具也是空USER_AGENTif(!$ua){header(“Content-type:text/html;charset=utf-8”);die(‘請(qǐng)勿采集本站,因?yàn)椴杉恼鹃L(zhǎng)木有小JJ!’);}else{foreach($now_uaas$value)//判斷是否是數(shù)組中存在的UAif(eregi($value,$ua)){header(“Content-type:text/html;charset=utf-8”);die(‘請(qǐng)勿采集本站,因?yàn)椴杉恼鹃L(zhǎng)木有小JJ!’);}}
四、測(cè)試效果
如果是 VpS,那非常簡(jiǎn)單,使用 curl -A 模擬抓取即可,比如:
模擬宜搜蜘蛛抓取:
Shell
curl–I–A‘YisouSpider’bizhi.bcoderss.com
模擬 UA 為空的抓?。?/p>
Shell
curl–I–A”bizhi.bcoderss.com
模擬百度蜘蛛的抓取:
Shell
curl–I–A‘Baiduspider’bizhi.bcoderss.com
更多新聞
2023
在今天這個(gè)信息化時(shí)代,擁有一個(gè)專業(yè)的網(wǎng)站對(duì)于一個(gè)企業(yè)來(lái)說(shuō)至關(guān)重要。安陽(yáng)網(wǎng)站建設(shè)為安陽(yáng)企業(yè)提供了一個(gè)突顯商業(yè)品牌形象、在線展示產(chǎn)品與服務(wù)的平臺(tái)。通過(guò)一個(gè)專業(yè)的網(wǎng)站,企業(yè)可以更好地與客戶溝通,提升企業(yè)的知名度和競(jìng)爭(zhēng)力,在互聯(lián)網(wǎng)上獲得更多的曝光率和商機(jī),實(shí)現(xiàn)業(yè)務(wù)的快速增長(zhǎng)。
View details
2023
對(duì)于在雙鴨山市經(jīng)營(yíng)業(yè)務(wù)的企業(yè)來(lái)說(shuō),擁有一款符合自己需求的小程序無(wú)疑會(huì)為業(yè)務(wù)帶來(lái)一定的增益。。隨著手機(jī)...
View details
2023
作為中國(guó)最繁忙和發(fā)達(dá)的都市之一,上海市場(chǎng)中的競(jìng)爭(zhēng)異常激烈。。為了在這個(gè)市場(chǎng)中脫穎而出,網(wǎng)站所有者需要...
View details
2019
在這部有著鬼怪、鬼怪新娘、地獄使者以及人間炸雞店老板的電視劇中,不只有好設(shè)定、高顏值以及緊湊的劇情▼是935歲的鬼怪孤獨(dú)輪回一世又一世是能夠看見鬼的19歲高中生卻始終
View details